AI资讯新闻榜单内容搜索-Gradient S

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: Gradient S
大模型为何长出「巨大激活」?清华、北大研究从反向传播找到新线索

大模型为何长出「巨大激活」?清华、北大研究从反向传播找到新线索

大模型为何长出「巨大激活」?清华、北大研究从反向传播找到新线索

清华大学、北京大学研究团队发现,大语言模型的注意力汇聚会形成梯度汇聚,巨大激活则可通过RMSNorm衰减局部集中梯度;团队以V-scale实验验证了巨大激活的梯度调节作用。

来自主题: AI技术研报
7449 点击    2026-11-21 11:34